步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。
translated by 谷歌翻译
在过去的几年中，基于变压器的预训练的语言模型在行业和学术界都取得了惊人的成功。但是，较大的模型尺寸和高运行时间延迟是在实践中应用它们的严重障碍，尤其是在手机和物联网（IoT）设备上。为了压缩该模型，最近有大量文献围绕知识蒸馏（KD）的主题长大。然而，KD在基于变压器的模型中的工作方式仍不清楚。我们取消了KD的组件，并提出了一个统一的KD框架。通过框架，花费了23,000多个GPU小时的系统和广泛的实验，从知识类型的角度，匹配策略，宽度深度折衷，初始化，型号大小等。在培训前语言模型中，对先前最新的（SOTA）的相对显着改善。最后，我们为基于变压器模型的KD提供了最佳实践指南。
translated by 谷歌翻译
将监督学习的力量（SL）用于更有效的强化学习（RL）方法，这是最近的趋势。我们通过交替在线RL和离线SL来解决稀疏奖励目标条件问题，提出一种新颖的阶段方法。在在线阶段，我们在离线阶段进行RL培训并收集推出数据，我们对数据集的这些成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用其他技术，包括减少任务以产生更可行的轨迹和基于价值的基于价值的内在奖励，以减轻稀疏的回报问题。我们称此总体算法为阶段性的自我模拟还原（Pair）。对稀疏的奖励目标机器人控制问题（包括具有挑战性的堆叠任务），对基本上优于非强调RL和Phasic SL基线。 Pair是第一个学习堆叠6个立方体的RL方法，只有0/1成功从头开始奖励。
translated by 谷歌翻译
我们研究具有随机生成内部权重的回声状态网络的均匀近似。这些模型在训练过程中仅优化了读数权重，在学习动态系统方面取得了经验成功。我们通过证明它们在弱条件下是普遍的来解决这些模型的代表性。我们的主要结果为激活函数提供了足够的条件和内部权重的采样过程，因此回声状态网络可以近似具有高概率的任何连续的休闲时间不变的操作员。特别是，对于Relu激活，我们量化了足够常规运算符的回声状态网络的近似误差。
translated by 谷歌翻译
最近，变压器架构已经证明了其在自然语言处理（NLP）和计算机视觉（CV）任务中的重要性。虽然已知其他网络模型容易受到后门攻击的影响，但是在模型中嵌入触发器并在呈现触发器时控制模型行为，众所周知，这种攻击是否仍然在变压器模型上仍然有效，如果是的话，是否有效它可以以更具成本效益的方式完成。在本文中，我们提出DBIA，一种对CV导向的变压器网络的一种新型无数据响应攻击，利用变压器的固有注意机制来产生触发器并使用中毒代理数据集注入后门。我们在两个主流图像分类任务中基于三个基准变压器，即Vit，Deit和Swin变压器进行了广泛的实验..，Cifar10和ImageNet。评估结果表明，消耗较少的资源，我们的方法可以嵌入高层的成功率和对受害者变压器性能的低影响。我们的代码可在https://anonmous.4open.science/r/dbia-825d获得。
translated by 谷歌翻译
受到深入学习的巨大成功通过云计算和边缘芯片的快速发展的影响，人工智能研究（AI）的研究已经转移到计算范例，即云计算和边缘计算。近年来，我们目睹了在云服务器上开发更高级的AI模型，以超越传统的深度学习模型，以造成模型创新（例如，变压器，净化家庭），训练数据爆炸和飙升的计算能力。但是，边缘计算，尤其是边缘和云协同计算，仍然在其初期阶段，因为由于资源受限的IOT场景，因此由于部署了非常有限的算法而导致其成功。在本调查中，我们对云和边缘AI进行系统审查。具体而言，我们是第一个设置云和边缘建模的协作学习机制，通过彻底的审查使能够实现这种机制的架构。我们还讨论了一些正在进行的先进EDGE AI主题的潜在和实践经验，包括预先训练模型，图形神经网络和加强学习。最后，我们讨论了这一领域的有希望的方向和挑战。
translated by 谷歌翻译
我们研究了深层神经网络的表达能力，以在扩张的转移不变空间中近似功能，这些空间被广泛用于信号处理，图像处理，通信等。相对于神经网络的宽度和深度估算了近似误差界限。网络构建基于深神经网络的位提取和数据拟合能力。作为我们主要结果的应用，获得了经典函数空间（例如Sobolev空间和BESOV空间）的近似速率。我们还给出了$ l^p（1 \ le p \ le \ infty）$近似误差的下限，这表明我们的神经网络的构建是渐近的最佳选择，即最大程度地达到对数因素。
translated by 谷歌翻译
The rapid development of remote sensing technologies have gained significant attention due to their ability to accurately localize, classify, and segment objects from aerial images. These technologies are commonly used in unmanned aerial vehicles (UAVs) equipped with high-resolution cameras or sensors to capture data over large areas. This data is useful for various applications, such as monitoring and inspecting cities, towns, and terrains. In this paper, we presented a method for classifying and segmenting city road traffic dashed lines from aerial images using deep learning models such as U-Net and SegNet. The annotated data is used to train these models, which are then used to classify and segment the aerial image into two classes: dashed lines and non-dashed lines. However, the deep learning model may not be able to identify all dashed lines due to poor painting or occlusion by trees or shadows. To address this issue, we proposed a method to add missed lines to the segmentation output. We also extracted the x and y coordinates of each dashed line from the segmentation output, which can be used by city planners to construct a CAD file for digital visualization of the roads.
translated by 谷歌翻译
固有的图像分解是一个重要且长期存在的计算机视觉问题。给定输入映像，恢复物理场景属性的定位不足。几个出于身体动机的先验已被用来限制固有图像分解的优化问题的解决方案空间。这项工作利用了深度学习的优势，并表明它可以以高效率解决这个具有挑战性的计算机视觉问题。焦点在于特征编码阶段，从输入图像中提取不同固有层的区分特征。为了实现这一目标，我们探讨了高维特征嵌入空间中不同内在组件的独特特性。我们定义特征分布差异，以有效地分离不同内在组件的特征向量。功能分布也受到限制，以通过特征分布一致性符合真实的分布。此外，还提供了一种数据完善方法来消除Sintel数据集中的数据不一致，使其更适合固有图像分解。我们的方法还扩展到基于相邻帧之间像素的对应关系的固有视频分解。实验结果表明，我们提出的网络结构可以胜过现有的最新最新。
translated by 谷歌翻译
深度神经网络（DNN）已在脑病变检测和分割中广泛采用。但是，在2D MRI切片中定位小病变是具有挑战性的，需要在3D上下文聚集的粒度和计算复杂性之间取得平衡。在本文中，我们提出了一种新型的视角变压器，以增强MRI特征的提取，以进行更准确的肿瘤检测。首先，所提出的变压器在3D脑扫描中收获了不同位置之间的远程相关性。其次，变压器将一堆切片功能堆叠为多个2D视图，并增强这些特征的视图，该功能大致以有效的方式实现了3D相关计算。第三，我们将提出的变压器模块部署在变压器主链中，该模块可以有效地检测到脑损伤周围的2D区域。实验结果表明，我们提出的观看式变压器在具有挑战性的大脑MRI数据集上对大脑病变检测表现良好。
translated by 谷歌翻译